生态 | 湖仓一体的优选:GBase 8a MPP + XEOS
近日,天津南大通用数据技术股份有限公司(以下简称:GBASE南大通用)分布式分析型数据库GBase 8a MPP完成了与北京星辰天合科技股份有限公司(以下简称:XSKY星辰天合)全协议支持的企业级对象存储XEOS的对接测试,通过功能测试、性能测试,各项测试结果总体正常达到测试预期,两款产品兼容性良好,满足功能需求。
数据仓库遭遇存储性能及兼容性问题
随着国产化进程的推进,国产数据库厂商励精图治,经过多年对产品的打磨,国产数据库系统已逐渐成熟,并积累了大量的客户案例。随着国产数据库的推广及越来越多的被投入到生产环境中,数据仓库的架构被逐渐应用起来,而相关的存储性能及兼容性问题接踵而至。
数据仓库是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的。数据仓库的建设目的,是为前端查询和分析作为基础,由于有较大的冗余,所以需要的存储也较大。数据仓库通常有以下几个特点:
1
数据量过大:数据仓库包含了由历史数据、详细数据和各种各样类型的数据组成的数据。数据量庞大,对于数据的管理、索引、持久化保存都是巨大的挑战。
2
文件格式多:数据仓库其数据来源于不同外部系统,其数据也是开放给各个外部应用系统使用。因此的数仓中的数据,是按照不同的主题区分的,根据各个主题的不同会产生大量不同格式的文件。
3
需要长期保留:数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。数据仓库中包括了大量的历史数据。
4
文件并发读写频繁:由于数据仓库是面向各个外部应用系统的,面对不同的业务系统,因此文件大小不一,并且文件需要被频繁的访问与读取,频繁的文件读写需要底层存储系统提供高性能的能力。
基于以上需求,GBASE南大通用与XSKY星辰天合建立战略合作,本次进行深度适配,根据各类业务场景,双方对产品进行了大量的兼容性及性能测试,GBase 8a MPP数据库侧参照标准AWS S3协议规范进行商业化开发改造,XEOS对象存储完美支持此协议,经过双方技术人员多轮测试验证后,达到性能及兼容性等预期目标。
XEOS对象存储与GBASE数据库对接说明
本次对接测试根据中移动总部云数仓项目实际需求进行制定,为后期平台建设提供决策参考与支持。本次测试内容包括功能测试、性能测试,各项测试结果总体正常达到测试预期。
功能测试:涵盖标准SQL、数据加载、表数据存储分布方式、开发接口4个方面,共15个测试小项,所有功能测试项完全支持,全部通过,具体测试结果,详细如下所示:
通过本次对功能和性能的测试,都达到了预期目标,GBase 8a MPP数据库与XSKY企业级对象存储XEOS相融合,系统可靠稳定运行,性能表现优异。
XEOS对象存储产品优势
XEOS对象存储,是XSKY公司拥有自主知识产权、独立开发面向多业务场景的企业级软件定义存储产品,其基于国产CPU、国产操作系统及应用进行了深度的适配及优化,通过对AWS S3、HDFS、NFS及S3生态体系等各类协议的支持,在稳定性、可靠性、易用性及性能等方面满足企业各类复杂应用的需求。
GBase 8a MPP产品优势
GBase 8a MPP是GBASE南大通用自主研发的,面向海量数据查询分析应用领域的一款高性能国产分析型型数据库产品,用于满足各个数据密集型行业日益增大的数据查询、数据统计、数据分析、数据挖掘和数据备份等数据存储、管理和处理需求,可用做数据仓库系统、BI系统和决策支持系统的承载数据库。主要应用在金融、电信、能源等拥有海量业务数据的行业得到规模化应用,在商业分析和商业智能市场领域表现突出。
本期作者:Alex
本期排版:yuyuan
THE END
往期文章
新闻资讯
生态合作
培训活动
技术干货